Verifier-Induced Support Reshaping in On-Policy Optimization
在线策略优化中验证器诱导的支撑重塑
🧭 RLVR在线策略优化的能力保持问题
Peking University · BUPT
在线RLVR优化单一目标会缩小后续任务可采样成功轨迹，导致pass@1与best@k背离
📌 工作参考价值（4 点）
- 多目标 RLVR/RLHF 后训练时，同时监控 pass@1、best@k 与“有成功轨迹的 prompt 比例”，避免平均奖励上升但尾部任务支撑塌缩。
- 对搜索/推荐 Agent 的指令遵循或格式约束训练，RLVR 可能只重排已有开头 token 而非生成新能力；可对前几个 token 加多样性正则或保留基座策略的开头分布。
- 顺序多目标训练（如先数学后 IF）应在每个阶段保存 checkpoint 并评估跨任务 best@k；参考策略约束、路由先验、蒸馏只能部分缓解，建议显式混合数据或联合验证器。
- 若用 RLVR 做转化/点击奖励的 on-policy 优化，需防止模型为提升即时反馈而牺牲搜索/检索友好性；可在 reward 中考虑前几个 token 的信息量或可搜索性。